Incremental Learning Through Unsupervised Adaptation in Video Face Recognition

Programa Oficial de Doutoramento en Investigación en Tecnoloxías da Información. 524V01[Resumo] Durante a última década, os métodos baseados en deep learning trouxeron un salto significativo no rendemento dos sistemas de visión artificial. Unha das claves neste éxito foi a creación de grandes conxuntos de datos perfectamente etiquetados para usar durante o adestramento. En certa forma, as redes de deep learning resumen esta enorme cantidade datos en prácticos vectores multidimensionais. Por este motivo, cando as diferenzas entre os datos de adestramento e os adquiridos durante o funcionamento dos sistemas (debido a factores como o contexto de adquisición) son especialmente notorias, as redes de deep learning son susceptibles de sufrir degradación no rendemento. Mentres que a solución inmediata a este tipo de problemas sería a de recorrer a unha recolección adicional de imaxes, co seu correspondente proceso de etiquetado, esta dista moito de ser óptima. A gran cantidade de posibles variacións que presenta o mundo visual converten rápido este enfoque nunha tarefa sen fin. Máis aínda cando existen aplicacións específicas nas que esta acción é difícil, ou incluso imposible, de realizar debido a problemas de custos ou de privacidade. Esta tese propón abordar todos estes problemas usando a perspectiva da adaptación. Así, a hipótese central consiste en asumir que é posible utilizar os datos non etiquetados adquiridos durante o funcionamento para mellorar o rendemento que obteríamos con sistemas de recoñecemento xerais. Para isto, e como proba de concepto, o campo de estudo da tese restrinxiuse ao recoñecemento de caras. Esta é unha aplicación paradigmática na cal o contexto de adquisición pode ser especialmente relevante. Este traballo comeza examinando as diferenzas intrínsecas entre algúns dos contextos específicos nos que se pode necesitar o recoñecemento de caras e como estas afectan ao rendemento. Desta maneira, comparamos distintas bases de datos (xunto cos seus contextos) entre elas, usando algúns dos descritores de características máis avanzados e así determinar a necesidade real de adaptación. A partir desta punto, pasamos a presentar o método novo, que representa a principal contribución da tese: o Dynamic Ensemble of SVM (De-SVM). Este método implementa a capacidade de adaptación utilizando unha aprendizaxe incremental non supervisada na que as súas propias predicións se usan como pseudo-etiquetas durante as actualizacións (a estratexia de auto-adestramento). Os experimentos realizáronse baixo condicións de vídeo-vixilancia, un exemplo paradigmático dun contexto moi específico no que os procesos de etiquetado son particularmente complicados. As ideas claves de De-SVM probáronse en diferentes sub-problemas de recoñecemento de caras: a verificación de caras e recoñecemento de caras en conxunto pechado e en conxunto aberto. Os resultados acadados mostran un comportamento prometedor en termos de adquisición de coñecemento sen supervisión así como robustez contra impostores. Ademais, este rendemento é capaz de superar a outros métodos do estado da arte que non posúen esta capacidade de adaptación.[Resumen] Durante la última década, los métodos basados en deep learning trajeron un salto significativo en el rendimiento de los sistemas de visión artificial. Una de las claves en este éxito fue la creación de grandes conjuntos de datos perfectamente etiquetados para usar durante el entrenamiento. En cierta forma, las redes de deep learning resumen esta enorme cantidad datos en prácticos vectores multidimensionales. Por este motivo, cuando las diferencias entre los datos de entrenamiento y los adquiridos durante el funcionamiento de los sistemas (debido a factores como el contexto de adquisición) son especialmente notorias, las redes de deep learning son susceptibles de sufrir degradación en el rendimiento. Mientras que la solución a este tipo de problemas es recurrir a una recolección adicional de imágenes, con su correspondiente proceso de etiquetado, esta dista mucho de ser óptima. La gran cantidad de posibles variaciones que presenta el mundo visual convierten rápido este enfoque en una tarea sin fin. Más aún cuando existen aplicaciones específicas en las que esta acción es difícil, o incluso imposible, de realizar; debido a problemas de costes o de privacidad. Esta tesis propone abordar todos estos problemas usando la perspectiva de la adaptación. Así, la hipótesis central consiste en asumir que es posible utilizar los datos no etiquetados adquiridos durante el funcionamiento para mejorar el rendimiento que se obtendría con sistemas de reconocimiento generales. Para esto, y como prueba de concepto, el campo de estudio de la tesis se restringió al reconocimiento de caras. Esta es una aplicación paradigmática en la cual el contexto de adquisición puede ser especialmente relevante. Este trabajo comienza examinando las diferencias entre algunos de los contextos específicos en los que se puede necesitar el reconocimiento de caras y así como sus efectos en términos de rendimiento. De esta manera, comparamos distintas ba ses de datos (y sus contextos) entre ellas, usando algunos de los descriptores de características más avanzados para así determinar la necesidad real de adaptación. A partir de este punto, pasamos a presentar el nuevo método, que representa la principal contribución de la tesis: el Dynamic Ensemble of SVM (De- SVM). Este método implementa la capacidad de adaptación utilizando un aprendizaje incremental no supervisado en la que sus propias predicciones se usan cómo pseudo-etiquetas durante las actualizaciones (la estrategia de auto-entrenamiento). Los experimentos se realizaron bajo condiciones de vídeo-vigilancia, un ejemplo paradigmático de contexto muy específico en el que los procesos de etiquetado son particularmente complicados. Las ideas claves de De- SVM se probaron en varios sub-problemas del reconocimiento de caras: la verificación de caras y reconocimiento de caras de conjunto cerrado y conjunto abierto. Los resultados muestran un comportamiento prometedor en términos de adquisición de conocimiento así como de robustez contra impostores. Además, este rendimiento es capaz de superar a otros métodos del estado del arte que no poseen esta capacidad de adaptación.[Abstract] In the last decade, deep learning has brought an unprecedented leap forward for computer vision general classification problems. One of the keys to this success is the availability of extensive and wealthy annotated datasets to use as training samples. In some sense, a deep learning network summarises this enormous amount of data into handy vector representations. For this reason, when the differences between training datasets and the data acquired during operation (due to factors such as the acquisition context) are highly marked, end-to-end deep learning methods are susceptible to suffer performance degradation. While the immediate solution to mitigate these problems is to resort to an additional data collection and its correspondent annotation procedure, this solution is far from optimal. The immeasurable possible variations of the visual world can convert the collection and annotation of data into an endless task. Even more when there are specific applications in which this additional action is difficult or simply not possible to perform due to, among other reasons, cost-related problems or privacy issues. This Thesis proposes to tackle all these problems from the adaptation point of view. Thus, the central hypothesis assumes that it is possible to use operational data with almost no supervision to improve the performance we would achieve with general-purpose recognition systems. To do so, and as a proof-of-concept, the field of study of this Thesis is restricted to face recognition, a paradigmatic application in which the context of acquisition can be especially relevant. This work begins by examining the intrinsic differences between some of the face recognition contexts and how they directly affect performance. To do it, we compare different datasets, and their contexts, against each other using some of the most advanced feature representations available to determine the actual need for adaptation. From this point, we move to present the novel method, representing the central contribution of the Thesis: the Dynamic Ensembles of SVM (De-SVM). This method implements the adaptation capabilities by performing unsupervised incremental learning using its own predictions as pseudo-labels for the update decision (the self-training strategy). Experiments are performed under video surveillance conditions, a paradigmatic example of a very specific context in which labelling processes are particularly complicated. The core ideas of De-SVM are tested in different face recognition sub-problems: face verification and, the more complex, general closed- and open-set face recognition. In terms of the achieved results, experiments have shown a promising behaviour in terms of both unsupervised knowledge acquisition and robustness against impostors, surpassing the performances achieved by state-of-the-art non-adaptive methods.Funding and Technical Resources For the successful development of this Thesis, it was necessary to rely on series of indispensable means included in the following list: • Working material, human and financial support primarily by the CITIC and the Computer Architecture Group of the University of A Coruña and CiTIUS of University of Santiago de Compostela, along with a PhD grant funded by Xunta the Galicia and the European Social Fund. • Access to bibliographical material through the library of the University of A Coruña. • Additional funding through the following research projects: State funding by the Ministry of Economy and Competitiveness of Spain (project TIN2017-90135-R MINECO, FEDER)

Relació entre el grup de Thompson i el teorema dels quatre colors

L'objectiu d'aquest treball és estudiar la relació que hi ha entre el Teorema dels Quatre Colors i els grups de Thompson. Principalment, es construeix el procés que permet passar d'un mapa a un (o més) elements del grup F, i com a partir d'un element del grup en podem obtenir un mapa. També es veu en quin sentit això permet definir una equivalència en el sentit de les coloracions. Després, usant aquesta equivalència que s'ha construït, es realitzen alguns intents de demostració que malgrat no funcionar, ajuden a entendre aquesta relació i a entendre el Grup de Thompson. S'estudia per quin motiu aquests intents fracassen, i es veuen possibles vies que resten obertes en aquest sentit. . Els elements del grup de Thompson es poden representar amb arbres binaris. Per altra banda, per un famós teorema de Tait de 1880, el teorema dels quatre colors és equivalent a demostrar que tot graf cúbic i planar és 3-aresta-colorable. Els arbres binaris dels elements del grup de Thompson presenten estructura de graf cúbic planar, i per tant poden ser susceptibles de ser utilitzats per estudiar el teorema dels quatre colors. L'objectiu d'aquest treball és entendre la relació que hi pugui haver entre el teorema dels quatre colors, el teorema de Tait i el grup de Thompson. Entendre bé i exposar l'equivalència entre els dos teoremes, i la seva reescriptura, si s'escau, en termes del grup. Òptimament, es tractaria de trobar una demostració alternativa del teorema dels quatre colors mitjançant el grup de Thompson, però si això no és possible, serà suficient entendre la situació i plantejar les dificultats que presenta aquesta via d'aproximació al teorema dels quatre colors

Non-Equilibrium Dynamics of Driven and Confined Colloidal Systems

[eng] In this thesis, I study the behavior of confined colloidal particles in aqueous suspension driven through an optical potential. For this purpose, I use micro-meter polystyrene particles, which I confine in the optical potential created with a system of optical tweezers. With the help of an Acousto Optical Deflector (AOD), which varies the laser position at a high frequency, I can create multiple quasi-simultaneous optical traps. This way, I can easily manipulate the particles and define the desired experimental conditions for the potential. I record videos of the particles' dynamics using optical microscopy. Thus, I obtain position information over time, which allows me to extract the necessary data to analyze the mechanisms that develop during forced transport. The results presented in this thesis expose the importance of Hydrodynamic Interactions (HI) when the transport of particles occurs due to a fluid drag. In addition, different situations are compared, including the change in the relative particle size concerning the separation between potential wells. In addition, I present a study on the emergence of solitons propagating in the opposite direction to the drag force. This situation, which appears when the experimental system is overcrowded, presents a mechanism where the transport dynamics accelerate, increasing the systems' efficiency.[spa] En esta tesis estudio el comportamiento de partículas coloidales en suspensión acuosa cuando son forzadas a moverse a través de un potencial óptico. Para ello, utilizo partículas micro- métricas de poliestireno, las cuales confino en el potencial óptico creado con un sistema de pinzas ópticas. Con la ayuda de un Deflector Acusto Óptico (AOD), el cual varía la posición del láser a una alta frecuencia, puedo crear múltiples trampas ópticas de manera casi simultánea. Esto me permite manipular las partículas con facilidad y definir las condiciones experimentales deseadas para el potencial. A través de microscopía óptica, obtengo imágenes en vídeo de la dinámica de las partículas. Así, obtengo la información de la posición a lo largo del tiempo, lo que me permite extraer los datos necesarios para analizar los mecanismos que se desarrollan durante el transporte forzado. Los resultados expuestos en esta tesis ponen de manifiesto la importancia de las Interacciones Hidrodinámicas (HI) en el transporte de partículas cuando son arrastradas por el fluido. Además, se comparan diferentes situaciones en las que se incluye el cambio en el tamaño relativo de las partículas respecto a la separación entre pozos de potencial. Además, presento un estudio sobre la aparición de solitones que se propagan en la dirección contraria en la que se ejerce la fuerza de arrastre. Esta situación, que aparece al sobrepoblar el sistema experimental, presenta un mecanismo en el que el transporte de materia se acelera, lo que incrementa la eficiencia

Incremental Learning from Low-labelled Stream Data in Open-Set Video Face Recognition

[Abstract] Deep Learning approaches have brought solutions, with impressive performance, to general classification problems where wealthy of annotated data are provided for training. In contrast, less progress has been made in continual learning of a set of non-stationary classes, mainly when applied to unsupervised problems with streaming data. Here, we propose a novel incremental learning approach which combines a deep features encoder with an Open-Set Dynamic Ensembles of SVM, to tackle the problem of identifying individuals of interest (IoI) from streaming face data. From a simple weak classifier trained on a few video-frames, our method can use unsupervised operational data to enhance recognition. Our approach adapts to new patterns avoiding catastrophic forgetting and partially heals itself from miss-adaptation. Besides, to better comply with real world conditions, the system was designed to operate in an open-set setting. Results show a benefit of up to 15% F1-score increase respect to non-adaptive state-of-the-art methods.This work has received financial support from the Spanish government (project PID2020-119367RB-I00); from the Xunta de Galicia, Consellaría de Cultura, Educación e Ordenación Universitaria (accreditations 2019-2022 ED431G-2019/04 and ED431G 2019/01, and reference competitive groups 2021-2024 ED431C 2021/48 and ED431C 2021/30), and from the European Regional Development Fund (ERDF). Eric López-López has received financial support from the Xunta de Galicia and the European Union (European Social Fund - ESF)Xunta de Galicia; ED431G-2019/04Xunta de Galicia; and ED431G 2019/01Xunta de Galicia; ED431C 2021/48Xunta de Galicia; ED431C 2021/3

Turning bacteria suspensions into a "superfluid"

The rheological response under simple shear of an active suspension of Escherichia coli is determined in a large range of shear rates and concentrations. The effective viscosity and the time scales characterizing the bacterial organization under shear are obtained. In the dilute regime, we bring evidences for a low shear Newtonian plateau characterized by a shear viscosity decreasing with concentration. In the semi-dilute regime, for particularly active bacteria, the suspension display a "super-fluid" like transition where the viscous resistance to shear vanishes, thus showing that macroscopically, the activity of pusher swimmers organized by shear, is able to fully overcome the dissipative effects due to viscous loss

On the extension of multidimensional speckle noise model from single-look to multilook SAR imagery

Speckle noise represents one of the major problems when synthetic aperture radar (SAR) data are considered. Despite the fact that speckle is caused by the scattering process itself, it must be considered as a noise source due to the complexity of the scattering process. The presence of speckle makes data interpretation difficult, but it also affects the quantitative retrieval of physical parameters. In the case of one-dimensional SAR systems, speckle is completely determined by a multiplicative noise component. Nevertheless, for multidimensional SAR systems, speckle results from the combination of multiplicative and additive noise components. This model has been first developed for single-look data. The objective of this paper is to extend the single-look data model to define a multilook multidimensional speckle noise model. The asymptotic analysis of this extension, for a large number of averaged samples, is also considered to assess the model properties. Details and validation of the multilook multidimensional speckle noise model are provided both theoretically and by means of experimental SAR data acquired by the experimental synthetic aperture radar system, operated by the German Aerospace Center.Peer Reviewe

Coherence estimation in synthetic aperture radar data based on speckle noise modeling

In the past we proposed a multidimensional speckle noise model to which we now include systematic phase variation effects. This extension makes it possible to define what is believed to be a novel coherence model able to identify the different sources of bias when coherence is estimated on multidimensional synthetic radar aperture (SAR) data. On the one hand, low coherence biases are basically due to the complex additive speckle noise component of the Hermitian product of two SAR images. On the other hand, the availability of the coherence model permits us to quantify the bias due to topography when multilook filtering is considered, permitting us to establish the conditions upon which information may be estimated independently of topography. Based on the coherence model, two coherence estimation approaches, aiming to reduce the different biases, are proposed. Results with simulated and experimental polarimetric and interferometric SAR data illustrate and validate both, the coherence model and the coherence estimation algorithms.Peer Reviewe